Python Job: Für Freelancer: Data Engineer mit Python (A)

Job added on

Company

freelance.de
Switzerland

Location

Remote Position
(From Everywhere/No Office Location)

Job type

Full-Time

Python Job Details

Freelancer Projekt -
Wir unterstützen unseren Kunden, eine IT Organisation in Bern, bei der Suche nach einem Data Analytics Operation Developer mit Python-Kenntnissen.

Aufgaben

? Anbindung von neuen strukturierten und unstrukturierten Datenquellen
? Entwicklung und Überwachung von Datenaufbereitungsprozessen sowie Berechtigungsverwaltung
? Wesentliche Technologien sind Apache Spark (pyspark), S3 ObjectStores, Postgres DB, Teradata, HVR sowie Apache Airflow und Apache Nifi
? Fokus liegt auf der Aufbereitung und Bereitstellung von Daten in einem Datalake, welcher aus verschiedenen Layern aufgebaut werden soll und sowohl für explorative Analysen von den Data Scientisten genutzt wird als auch die Grundlage für das Reporting und Self-Service Business Intelligence bildet
? Betriebliche Aufgaben wie die Verwaltung von Berechtigung, die Überwachung von Datenpipelines und die fortlaufende Optimierung des Monitorings und Alarmings über den gesamten Einsatzzeitraum

Anforderungen

? Hochschul- oder Fachhochschulabschluss mit Zertifikat bzw. Diplom
? Mind. 2 Jahre Erfahrung im Bereich Big Data / Data Analytics
? Know-how in Datenmodellierung, Datenintegration und Datenmanagement
? Scaled Agile Framework Zertifikat oder mind. 6 Monate in einer agilen Organisation (Scrum, DevOps, etc.)
? Erfahrung im Bereich Entwicklung und Betrieb von Datenpipelines
? Praktische und nachweisbare Erfahrung im Bereich Softwareentwicklung mit Python

? Technologien:
? Apache Spark, Apache Nifi, S3 Object Stores, Postgres DB
? Hadoop Stack, Object Store, Kafka
? HVR und Teradata von Vorteil

Programmiersprachen:
? Python, SQL
? Java von Vorteil

Datenformate: Avro, Parquet, JSON, XML, CSV

Erfahrung in dem Aufbau, Betrieb und der Weiterentwicklung von Data Lake Lösungen

Kenntnisse von Data Lake Engines (z. B. Dremio, Hive, Presto), von Workflow Managern (z. B. Apache Airflow) sind von Vorteil

Soft Skills

? Selbstständige und eigenverantwortliche Mitarbeit innerhalb eines Scrum-Teams
? Fähigkeit, sich in einem interdisziplinären, dynamischen und globalen Umfeld zu bewegen
? Strukturierte und analytische Vorgehensweise
? Schnelle Auffassungsgabe
? Engagiert, selbständig und belastbar
? Guter Teamplayer, kommunikative Persönlichkeit
Freelancer